De Sint-Trudo abdij doet in de eerste plaats niet aan een abdij maar aan een waterburcht denken. De reden hiervoor is simpel, het huis waar de zusters woonden is het voormalige slot van de Graven van Vlaanderen.
De oorsprong van het kasteel gaat terug tot de 12de eeuw toen Filips van den Elzas er een stenen burcht liet oprichten. In 1166 werd het kasteel ingewijd door Thomas Becket, de aartsbisschop van Canterbury. Doordat Filips van den Elzas zich ook in Male vestigde werd het een grafelijk bestuurlijk centrum en domein. Tijdens oorlogen met Frankrijk werd het kasteel bezet en in 1302 weer heroverd door de Bruggelingen onder de leiding van Jan Breydel, Pieter de Coninck en Willem van Gulik.
De belangrijkste personen waarvan de naam aan dit kasteel verbonden is was Lodewijk van Male. Lodewijk werd er 1308 geboren en in 1350 diens dochter Margareta van Male, die zou huwen met Filips de Stoute, van Bourgondië. In 1382 werd het slot van Male leeggeroofd en verwoest door de Gentenaars. Margareta van Male liet het in de jaren 1390-97 wondermooi herstellen, het werd een juweel van Bourgondische pracht. Na de Bourgondische tijd werd het slot van Male de zetel van een 'gewone' heerlijkheid waar adellijke families de bewoners waren.
Vanaf 1954 vestigde de zusters van de Sint-Trudoabdij zich in het kasteel. Omdat de kosten voor het gebouw te hoog opliepen werd het historische slot van Male in 2011 verkocht aan de familie Hein Deprez uit Belsele.